![arxiv：2412.14135v1 [cs.ai] 2024年12月18日](/simg/b/ba6858cc5362071828a21c1cb0683c3c2b12b707.webp)
机构名称：
¥ 5.0
OpenAI O1代表了人工整体的重要里程碑，该里程碑在需要强大的推理能力的许多挑战任务上实现了专家级别的表现。Openai声称O1背后的主要techinique是秘密学习（Openai，2024a; b）。最近的作品使用诸如知识蒸馏之类的替代方法来模仿O1的推理风格，但是它们的有效性受到教师模型的能力上限的限制。因此，本文从强化学习的角度来解析了实现O1的路线图，重点关注四个关键组成部分：政策初始化，奖励设计，搜索和学习。策略初始化使模型能够开发类似人类的推理行为，使他们能够有效地探索解决方案空间的复杂问题。奖励设计通过奖励成型或奖励建模提供密集有效的信号，这是搜索和学习的指导。搜索在训练和测试阶段生成高质量的解决方案中起着至关重要的作用，这可以通过更多的计算产生更好的解决方案。学习利用通过搜索改进策略生成的数据，可以通过更多的参数和更多的搜索数据来实现更好的性能。现有试图重现O1的开源项目似乎是我们路线图的一部分或变体。共同强调了学习和搜索如何推动O1的进步，从而为LLM的开发做出了有意义的贡献。
arxiv：2412.14135v1 [cs.ai] 2024年12月18日
主要关键词
![arxiv：2412.14135v1 [cs.ai] 2024年12月18日PDF文件第1页](/bimg/1/14ee42276e0e4c1f9e0fdb3ebaef0d57bc7c5e63.webp)
![arxiv：2412.14135v1 [cs.ai] 2024年12月18日PDF文件第2页](/bimg/4/4c8dd4151da6ca6b9d6895c0dd542d79f582097c.webp)
![arxiv：2412.14135v1 [cs.ai] 2024年12月18日PDF文件第3页](/bimg/9/9df876f72995e67cd1ce7feca45f23584098974b.webp)
![arxiv：2412.14135v1 [cs.ai] 2024年12月18日PDF文件第4页](/bimg/a/a92038596da88a04ba3a290a62000c0e5892b367.webp)
![arxiv：2412.14135v1 [cs.ai] 2024年12月18日PDF文件第5页](/bimg/f/fefa85dfe744f7aea2380c9df84edbc33fdd304c.webp)
相关文件推荐
![arxiv：2412.05024v1 [cs.ro] 2024年12月6日](/simg/8/87d4fa5715751706d180dd1f0a48fb98bfa72b7d.webp)
![arxiv：2412.08580v2 [cs.cv] 2024年12月13日](/simg/1/19dd6a46813f915b66aeefb39547498261a82650.webp)
![arxiv：2412.07623v1 [Quant-ph] 2024年12月10日](/simg/2/206d07d0c3d81e24d44a15476c3e76d02bc1858d.webp)
![arxiv：2412.19197v1 [Math.ap] 2024年12月26日](/simg/7/7f2af545e341d1ea82b5aa4511a1d0f05d37869f.webp)
![arxiv：2412.11918v1 [Quant-ph] 2024年12月16日](/simg/e/ed3f2b369bed5135dca7fbf16cfa70d45057deef.webp)
![arxiv：2410.19363v2 [cs.cv] 2024年12月23日](/simg/6/686e38225a84bacafbcd016080a298d9958cd5fd.webp)
![arxiv：2412.04469v1 [CS.CV] 2024年12月5日-NIPS Papers](/simg/d/d2c25b9caa37938f66dbb4fdda58fd675645fcf3.webp)
